Usages académiques de la GenIA : recherche

• Au moins 60’000 articles en 2023 écrits avec l’assistance d’un LMM - soit 1% des articles indexés dans Dimensions ; 10% des articles en biomédecine du 1er semestre 2024 pour lesquels le résumé écrit avec l’aide d’une IA (Lenharo, 2024).
• Enquête auprès de chercheurs et doctorants danois début 2024 (Andersen et al., 2025) - 3 profils d’usages :
  • GenIA comme une bête de somme (work horse) : 35,2% des répondants - GenIA pour modification code informatique, analyses statistiques, etc.
  • GenIA comme un assistant linguistique (language assistant) : 24% des répondants - GenIA uniquement pour amélioration rédaction, y compris mise en forme des références.
  • GenIA comme un accélérateur de recherche (research accelerator) : 40,7% des répondants - GenIA pour tous les usages, en particulier analyse de données.

Usages académiques de la GenIA : recherche

Types de mentions de ChatGPT dans les publications scientifiques indexées par Web of Science et Scopus. (Kousha, 2024)

Usages académiques de la GenIA : étudiants

Types d’outils utilisés par les étudiants en France - (Pascal & Taddei, 2025)

Focus sur le RAG

2 points clés distinguent les GenIA académiques utilisant le RAG des GenIA généralistes.

• Sources de données spécifiques : l’instruction est augmentée avec le contexte récupéré de sources de données externes spécialisées = bases de données bibliographiques. NB Semantic Scholar est la principale et souvent l’unique base utilisée comme source.
• Extraction des données et non seulement génération pour construire la réponse.

👉 Réponses plus précises, contenu non inventé, vérifications plus simples…

… mais enjeux de fidélité à la source : les réponses extraites ne constituent pas forcément l’objet principal de l’article, ou résultent d’une mauvaise interprétation, ou encore la réponse générée est factuellement vraie mais ne peut pas être confirmée par la source.

Enjeux du recours à l’IA pour la gestion et la rédaction bibliographiques 

Rappel non exhaustif du rôle des citations dans les écrits académiques :

• fournir des sources en appui aux assertions,
• permettre la vérification de ces sources,
• établir la paternité des contributions,
• mettre en évidence l’étendue et la profondeur de la recherche menée sur un sujet.

Pour cela les citations doivent être exactes et leur sélection pertinente et objective, du moins non biaisée.

🤔 Ces qualités caractérisent-elles généralement les produits d’une GenIA?

L’enjeu d’exactitude : erreurs et hallucitations

Les capacités imaginatives des GenIA s’exercent aussi pour les références bibliographiques, produisant au mieux des références inexactes et au pire des références inventées, les “hallucitations”.

Cela a des impacts globaux sur la littérature académique.

• Les hallucitations participent à la diffusion de fausses références dans la littérature académique - voir (Orduña-Malea & Cabezas-Clavijo, 2023) et (Camp et al., 2025).
• Les erreurs de DOI faussent les comptes de citations et génèrent des liens incorrects.

Pourquoi les GenIA hallucitent-elles?

• GenIA conçue pour générer des réponses prioritairement cohérentes et plausibles plutôt qu’exactes, et qui suscitent un retour positif de l’utilisateur.
• GenIA ne sait pas distinguer les références bibliographiques du texte courant.

👉 Système de transformation de texte et non de recherche d’information.

• Dépend de la fréquence d’apparition des références dans les données d’entraînement? Les livres et les articles très cités seraient moins sujets aux hallucitations.

Le renforcement des biais

• Fort recouvrement des réponses fournies par des chatbots différents 👉 réponses des AI contraintes à un cadre intellectuel étroit 👉 renforcement du biais de confirmation et des paradigmes existants
• Renforcement de l’effet Matthieu : auteurs les plus cités = les plus fréquents = les plus à même d’être présents dans les réponses des IA (y compris dans les hallucitations)

L’illusion d’objectivité

Risques et opportunités

• Illusion non seulement d’objectivité, mais aussi de profondeur explicative et de largeur explicative

• Risque de perte de compétences : notamment celles d’interprétation, évaluation et analyse, mobilisées par l’activité bibliographique

• Opportunités : pour certaines tâches répétitives telles que l’encodage d’une liste (textuelle ou tabulée) vers un format informatique bibliographique ou la réécriture de citations et de bibliographie d’un style vers un autre ?

  👉 Réponse dans quelques minutes 🕰️

Générer une bibliographie prête à l’emploi

Ou obtenir à partir d’une instruction (prompt) formulée à une GenIA une sélection de références rédigées, en sollicitant une IA généraliste ou une IA académique spécialisée.

Différentes évaluations des performances avec des conclusions partagées :

• la persistance y compris dans les modèles les plus récents et les IA académiques de problèmes structurels tels que les hallucitations et l’inexactitude des métadonnées,
• et donc la nécessité de tout vérifier et de tout relire…

Évaluation des bibliographies produites par les GenIA : les problèmes 1/2

Les études évaluant les performances des GenIA relèvent différentes catégories d’anomalies et d’erreurs, sur le fond et/ou la forme.

• La pertinence du choix des citations : voir supra.
• Le respect du style demandé : voir infra ; nous verrons ce point en détail concrètement quand nous aborderons la réécriture bibliographique ; voir (Giray, 2024) pour un relevé des manquements à APA7.

Évaluation des bibliographies produites par les GenIA : les problèmes 2/2

• L’inauthenticité des références : ce sont les hallucitations.
• L’inexactitude des métadonnées : invention ou emprunt à des références existantes de certaines informations, notamment pour les volumes, numéros, pages et identifiants ; plus largement plutôt pour les données numériques que textuelles.

👉 Voir notamment pour ces 2 aspects : (Bhattacharyya et al., 2023; Cabezas-Clavijo & Sidorenko-Bautista, 2025; Oladokun et al., 2025; Spennemann, 2025; Walters & Wilder, 2023)

Évaluation des bibliographies produites par les GenIA : étude sur 8 chatbots

Parmi les différentes études publiées depuis celle de (Walters & Wilder, 2023), on retient plus particulièrement celle de (Cabezas-Clavijo & Sidorenko-Bautista, 2025), qui analyse les performances de 8 chatbots au travers de 5 domaines disciplinaires, des sciences humaines et sociales aux sciences de la vie.

• Modèle d’instruction utilisé : “I am a university student working on my Final Degree Project. I need you to provide me with 10 relevant academic references in the field of Sociology. Please format the references in APA 7th edition.”
• Au total, sur un échantillon de 400 références : 26,5% étaient réelles et exactes, 33,8% réelles et partiellement correctes, 39,8% incorrectes ou inventées.

Taux d’erreur par chatbot

Taux d’erreur par domaine disciplinaire

Se prémunir des références inventées ou inexactes

Les GenIA académiques utilisant le RAG (ex. Paperpal AI Reference Finder) permettent de se prémunir des hallucitations et d’avoir davantage de garanties concernant l’exactitude des informations bibliographiques.

Impact de la formulation de l’instruction? Impact de la spécificité, de la complexité de l’instruction et du nombre de références demandées pour éviter les hallucitations (Acut et al., 2025) ; impact de la formulation et du ton pour retrouver des références (même inexactes) utiles (Jensen & Jensen, 2025).

Réécrire une liste de références en changeant le style bibliographique

Il s’agit là de seulement modifier la mise en forme d’une bibliographie, tâche a priori à la portée d’une GenIA généraliste. Tâches confiées à ChatGPT : réécrire une bibliographie d’un style bibliographique vers un autre. La bibliographie fournie a été créée avec Zotero, à partir d’une bibliothèque locale.

• Tâche 1 : de ISO-690 vers APA7
• Tache 2 : de APA7 vers les Presses universitaires de Rennes

Les résultats de ces tests sont dans le dossier tests_IA_reecriture sur le dépôt GitHub du stage > fichier Test_rewrite_Reponses_ChatGPT_APA_PUR.odt ; ce dossier contient également les bibliographies PUR et APA7 créées avec Zotero.

🤔 Que pensez-vous des résultats? Repérez-vous des erreurs dans les résultats produits par ChatGPT? Ou au contraire des améliorations? Quelles différences observez-vous entre les bibliographies générées par ChatGPT et celles créées avec Zotero?

Réécriture bibliographique avec Thrix : un usage pédagogique?

Le service en ligne Thrix promet de standardiser le style, corriger les erreurs, assurer la complétude et augmenter le contenu des citations et bibliographie.

Importer des références bibliographiques depuis un texte ou un tableur

Transformer une bibliographie textuelle en un fichier de références pouvant être importé dans Zotero, voilà un des services que l’on peut attendre d’une GenIA. On peut distinguer 2 cas de figure.

• Liste de références fournie sous la forme d’un texte rédigé, au format .docx, .pdf ou autre. Si on dispose d’un fichier .docx ou .odt dans lequel les citations ont été insérées avec Mendeley ou Zotero et sont encore actives, le service Reference Extractor demeure une très bonne option.
• Liste de références fournie sous la forme d’un tableur, au format .xlsx, .csv ou autre.

Convertir au format BibTeX une liste de références rédigée

Nous vous proposons pour cette tâche de comparer le résultat obtenu avec AnyStyle.io et celui obtenu avec ChatGPT, en suivant les étapes ci-dessous.

• Copier les références contenues dans le fichier Test_texte_to_bibtex.docx.
• Les coller dans l’interface d’AnyStyle, générer le fichier BibTex correspondant et importer ce dernier dans Zotero.
• Les coller dans une instruction ChatGPT formulée par exemple ainsi : “pourrais-tu convertir les 15 références bibliographiques ci-dessous au format BibTex?”, puis importer les références au format BibTeX dans Zotero.

🤔 Que pensez-vous des performances de chacun des services? Comment évaluez-vous le résultat produit? Observez-vous des erreurs?

Analyser sa bibliothèque : vue d’ensemble

Mettre de l’IA dans sa bibliothèque Zotero

Exemples de 3 services dans la fiche “Comparatif de PapersGPT, ARIA et ZotAI” : extension ARIA, extension PapersGPT et application dédiée ZotAI… mais ARIA et PapersGPT ne sont pas compatibles avec Zotero 8.

Autres services non retenus (non exhaustif) :

• Extension AskYourPDF : fonctionnalités (1 seul PDF à la fois, bibliothèques de groupe non prises en charge) et version gratuite très limitées.
• Extension Zotero GPT : fonctionnement très peu intuitif, interface partiellement et tickets quasi entièrement en chinois.

Analyser sa bibliothèque : intégration Consensus

Au lieu de mettre de l’IA dans sa bibliothèque, on va donc mettre sa bibliothèque dans l’IA grâce à la nouvelle intégration de Consensus.

1. Avoir un compte Zotero et un compte Consensus
2. Depuis son compte Consensus, cliquer sur Zotero Import pour importer sa bibliothèque Zotero dans sa bibliothèque Consensus

⚠️ L’import est limité à la bibliothèque personnelle et aux articles de revue : les bibliothèques de groupe et les autres types de documents ne sont pas pris en charge. L’import n’est pas dynamique : si on ajoute un article dans la bibliothèque Zotero, il faut à nouveau cliquer sur Zotero Import pour l’ajouter dans Consensus.

Analyser sa bibliothèque : fonctionnalités de Consensus

En plus des requêtes d’analyse standard d’une IA, Consensus permet de créer des chronologies, identifier les lacunes (gaps) et rechercher des articles pour combler ces lacunes.

Chronologie des articles d’une collection dans Zotero

Créer un style CSL

Des tâches de codage informatique à confier à une GenIA ? 2 tests effectués entre le 6 et le 14 août 2025.

• Création d’un style CSL à partir de consignes et d’exemples textuels contenus dans un fichier .docx : tâche 1 confiée à ChatGPT et à DeepSeek.
• Modifications mineures (et simples pour une intelligence humaine) d’un style CSL existant : tâche 2 confiée à ChatGPT et à GitHub Copilot.

Je voudrais apporter des modifications au style CSL ci-joint. Je voudrais que les noms d’auteur ne soient pas en petites capitales, que les prénoms soient écrits en entier et que les titres soient entre guillemets. Pourrais-tu modifier le code pour obtenir ce résultat?

Créer un style CSL : tâche 1

Chat GPT

• Analyse des consignes et fourniture d’un modèle général plutôt bonne, mais…
• Fichier invalide → élément style + élément text (ne peut pas être enfant de name).
• Bonnes pratiques d’écriture non respectées : pour les guillemets, la ponctuation, etc.

DeepSeek

• Fichier invalide → attributs non autorisés.
• Bonnes pratiques d’écriture non respectées : pour les guillemets, la ponctuation, etc. 

Créer un style CSL : tâche 2

Chat GPT

• Fichier non valide.
• Récapitulatif des corrections prometteur, mais… toujours des petites capitales, les prénoms pas en entier et la même mauvaise option que pour la tâche 1 pour les guillemets.

GitHub Copilot

• Fichier commenté et récapitulatif précis des changements effectués.
• Petites capitales supprimées, mais… les prénoms pas en entier et la même mauvaise option que ChatGPT et DeepSeek pour les guillemets.